พลโทอิสระชัย บำรุงพงศ์ เป็นผู้ที่มีความมุ่งมั่นต่อการออกกำลังกายอย่างสม่ำเสมอและจริงจังอย่างมากตลอดเวลา กระทั่งกลายเป็นการหักโหมในวันที่ประสพกับภาวะหัวใจล้มเหลวขณะพักเหนื่อยจากการปั่นจักรยานที่สวนรถไฟในตอนเช้าของวันที่ 22 มีนาคม พ.ศ.2548 จนทำให้สมองได้รับความเสียหายอย่างมาก โดยพลโทอิสระชัย ต้องนอนพักรักษาตัวอยู่ที่บ้าน และเข้า-ออกโรงพยาบาลเป็นเวลานานถึง 4 ปี 4 เดือน และถึงแก่อนิจกรรมอย่างสงบในเช้าของวันที่ 30 กรกฎาคม พ.ศ.2522 สิริอายุ 68 ปี